#Ilya Sutskever

avatar
马东锡 NLP
7小时前
今年，我读了很多 alignment 和 AI safety 的论文。 开始一天比一天好奇，Ilya Sutskever 的 Safe Superintelligence Inc 到底在做什么神秘的研究和产品？
#AI浪潮：重塑就业，风险暗涌？· 123 条信息
#AI安全 #对齐研究 #Ilya Sutskever #Safe Superintelligence Inc #好奇
avatar
由Claude 4.5 创作： AI风云人物之Ilya Sutskever ，那个解雇了Sam Altman的男人 ## 序章：一场无声的政变 2023年11月17日的硅谷，周五下午的阳光还算温暖。 就在大多数科技公司员工准备开始周末时，一则消息如同地震波般撕裂了整个科技圈：萨姆·奥特曼。 那个永远穿着灰色连帽衫、在推特上预言AGI即将到来的男人，那个刚刚让ChatGPT成为史上增长最快应用的CEO——被自己公司的董事会解雇了。 官方声明只有一句话："在与董事会的沟通中不够坦诚"。这种含糊其辞的措辞，在硅谷的历史上通常意味着背后有更深的故事。 果然，几小时内，各种版本的内幕开始在Signal群组和私密晚宴上流传。 在这场风暴的中心，站着一个很少出现在聚光灯下的人：伊尔亚·苏茨克维。如果你在旧金山的咖啡馆里见过他，你可能不会认出这就是那个改变了人工智能历史进程的科学家。他不像奥特曼那样善于演讲，也不像马斯克那样喜欢制造话题。但在AI研究者的圈子里，他的名字几乎等同于"深度学习革命"本身。 这一次，正是他亲自给奥特曼打了那通电话。据说，电话那头的奥特曼一开始以为这是个玩笑。但苏茨克维的声音里没有任何开玩笑的意思。在公司内部，他已经成为一个阵营的精神领袖——那些认为"我们走得太快了"的人。 这不是一场关于股权或办公室政治的争斗。这是两种世界观的碰撞：一边是奥特曼，相信快速迭代、相信市场的力量、相信人类会找到办法；另一边是苏茨克维，他看到了自己一手创造的技术正在以超出想象的速度进化，而这让他夜不能寐。 ## 第一章：被魔法吸引的心灵 1986年，在苏联的下诺夫哥罗德市（当时还叫高尔基市），一个犹太家庭迎来了他们的儿子伊尔亚。那是一个封闭的城市，外国人被禁止进入，因为那里有苏联的军工厂。在那个年代，拥有一台电脑几乎是不可想象的奢侈。 五岁那年，苏茨克维一家响应"回归故土"的号召，离开了苏联，搬到了耶路撒冷。这是一次彻底的文化休克。从说俄语到说希伯来语，从寒冷的俄罗斯到炎热的中东，小伊尔亚需要重新学习一切。但也正是在耶路撒冷，他第一次见到了电脑。 多年后，当被问起那一刻时，苏茨克维用了一个词："魔法"。他说自己"完全被迷住了"。这不是一个孩子对新玩具的简单兴奋，而是一种近乎宗教般的着迷。他开始思考一些对五岁孩子来说异常深刻的问题：为什么人类会学习，而机器不会？意识到底是什么？ 到了青少年时期，他的兴趣已经从编程延伸到了哲学。他会在深夜思考"存在的本质和意识……关于灵魂和智能"。他的同学们在踢足球时，他在想：如果我们能理解学习的本质，是不是就能创造出会思考的机器？ 16岁时，全家再次搬迁，这次是加拿大。对大多数移民家庭来说，这又是一次艰难的适应。但对苏茨克维来说，这是命运的安排——因为多伦多大学里，有一个叫杰弗里·辛顿的教授，正在做一件所有人都认为不可能的事：让神经网络重新复活。 苏茨克维的学术天赋让他在11年级就被多伦多大学录取。但真正改变他人生的，是他决定去敲辛顿办公室的门那一刻。 那是一个普通的下午。辛顿正在办公室里工作，门突然被敲响了。门外站着一个年轻人，看起来还像个高中生。 "我想加入你的实验室。"苏茨克维说。 辛顿打量着这个不请自来的访客，说："好的，你可以预约个时间。" 苏茨克维的回答成为了AI圈子里的一个传奇："现在怎么样？" 这种近乎鲁莽的自信，本该让辛顿把他赶出去。但辛顿看到了这个年轻人眼中的某种东西——一种纯粹的、对知识的渴望。他决定给他一个机会。辛顿递给他一篇论文，让他读完后谈谈想法。 接下来发生的事让辛顿震惊了。苏茨克维不仅读懂了这篇论文，他的见解"是该领域的专家需要很长时间才能得出的结论"。辛顿后来回忆说，苏茨克维拥有一种罕见的天赋："强大的直觉"。更令人惊讶的是，这位后来获得图灵奖的教授说："我从他身上学到的比他从我身上学到的更多。" 这不是客套话。辛顿是认真的。 ## 第二章：不容辩驳的论点 2010年代初的人工智能研究，是一个被遗忘的角落。如果你在那时告诉别人你在研究神经网络，大多数人会礼貌地点点头，然后转移话题。主流是贝叶斯模型和支持向量机，神经网络被认为是上世纪80年代的失败实验。 在多伦多大学的一间实验室里，辛顿和他的几个学生成了这个领域最后的守望者。大多数研究者在做15到100个神经元的小模型，小心翼翼地调参数，期待着微小的改进。 但苏茨克维有一个完全不同的想法。 在一次实验室会议上，他提出了一个大胆的假设："如果你的神经网络又深又大，那么它就可以被配置来解决一个困难的任务。" 这听起来简单，但在当时，这是异端邪说。整个领域的共识是：神经网络太大就会过拟合，太深就会无法训练。但苏茨克维有一种近乎固执的信念。他不是基于实验数据得出这个结论的——因为当时还没有人做过这样的实验。他是基于第一性原理推理出来的：如果大脑能工作，为什么大型神经网络不能？ 辛顿后来总结得很精辟："伊尔亚认为我们应该做，亚历克斯让它成功了，而我拿了诺贝尔奖。"这不是谦虚，而是对苏茨克维洞察力的真实评价。 但要证明这个想法，他们需要两样东西：海量的数据和强大的计算能力。数据有了——ImageNet，一个包含120万张标注图片的数据集。但计算能力呢？当时的CPU训练一个大模型需要几个月。 苏茨克维想到了GPU——那些本来是为游戏玩家设计的图形处理器。据说，他自己在网上订购了几块NVIDIA GTX 580显卡。当这些显卡送到实验室时，没人确定这个疯狂的想法是否能行得通。 2012年的ImageNet挑战赛，是计算机视觉领域的奥林匹克。全世界最好的团队都在竞争，试图让计算机准确识别图片中的物体。前几年的进步都是渐进式的——错误率每年降低一两个百分点。 当AlexNet的结果公布时，整个会场安静了几秒钟。15.3%的错误率，比第二名的26.2%低了整整10个百分点。这不是渐进式的改进，这是一次革命。 有人后来形容那一刻是"现代人工智能的宇宙大爆炸"。在AlexNet之前，几乎没有顶级计算机视觉论文使用神经网络；在它之后，几乎所有论文都在用。苏茨克维的"不容辩驳的论点"不再是异端，而成了新的正统。 ## 第三章：机器的语言 2013年，谷歌的人工智能团队负责人杰夫·迪恩（Jeff Dean）做了一个决定：不惜一切代价把辛顿团队挖到谷歌。最终的收购价是4400万美元——对于一个只有三个人的初创公司来说，这是天文数字。 但这笔交易中有一个细节很少被提及：在分配这笔钱时，苏茨克维和克里泽夫斯基坚持认为辛顿应该拿40%，而他们两个年轻人各拿30%。在一个充满了期权纠纷和创始人内讧的行业里，这种慷慨几乎是闻所未闻的。 在谷歌大脑，苏茨克维进入了一个新的世界。这里有他梦寐以求的计算资源，有世界上最聪明的工程师，还有一种文化：如果你有一个疯狂的想法，没人会阻止你去尝试。 2014年，苏茨克维和同事们在思考一个问题：能否让神经网络理解语言？不是简单地识别单词，而是真正理解句子的含义，能够翻译，能够对话。 他们开发的"序列到序列"模型，核心思想优雅得令人惊叹：让一个神经网络"阅读"一个句子，把它压缩成一个向量（他们称之为"思想向量"），然后让另一个神经网络把这个向量"解码"成另一种语言。 当这个模型在英法翻译任务上超越了传统的统计机器翻译系统时，很多人意识到：深度学习不仅能处理图像，它可能是一种通用的学习范式。苏茨克维再一次证明了他的直觉：规模和深度能够解锁新的能力。 在谷歌的这段时间，苏茨克维参与了从AlphaGo到TensorFlow的众多项目。但到了2015年，他开始感到不安。谷歌是一家伟大的公司，但它终究是一家公司。如果AGI真的即将到来，它应该属于谁？应该由谁来确保它的安全？ 这时，他接到了一个电话。电话那头是埃隆·马斯克。 ## 第四章：为全人类的使命 马斯克的提议很简单，也很疯狂：创立一个新的AI实验室，完全非营利，目标只有一个——确保AGI造福全人类。初始资金10亿美元。团队包括萨姆·奥特曼，一个年轻的创业者，刚刚卸任Y Combinator的总裁。 据说，马斯克亲自飞到谷歌总部去说服苏茨克维。这激怒了谷歌的CEO拉里·佩奇。佩奇和马斯克曾经是朋友，他们曾在深夜讨论AI的未来。但现在，马斯克在挖他的人。 佩奇质问马斯克：你为什么这么担心AI的安全？你是不是对人类没有信心？ 马斯克的回答很直接：我只是想确保我们不会创造出一个会毁灭人类的东西。 佩奇说：那你就是个物种主义者。 这次争吵标志着两人友谊的终结。但对苏茨克维来说，这次对话揭示了问题的核心：当AGI到来时，我们需要一个不受商业利益驱动的组织来确保它的安全。 2015年12月，OpenAI在旧金山的一个联合办公空间里成立了。创立博客文章写道："我们的目标是推进数字智能，使其最有可能造福全人类，不受产生财务回报需求的约束。" 苏茨克维成为首席科学家。他的办公桌很简单：一台电脑，几块白板，还有一摞关于神经网络的论文。他很少参加硅谷的社交活动，也不喜欢接受采访。他的世界就是代码、数学和那个一直困扰他的问题：如何让机器真正理解世界？ 在OpenAI的早期，团队很小，氛围像学术实验室多过像公司。苏茨克维会和研究员们进行马拉松式的讨论，在白板上写满公式，争论到深夜。他的信念依然没变："我坚信越大越好，我们在OpenAI的目标之一就是弄清楚如何正确地利用规模。" GPT的诞生几乎是偶然的。团队在尝试各种方法让模型理解语言。有一天，有人提出：如果我们只是让模型预测下一个词呢？就这么简单的任务，但用一个巨大的模型，在海量的文本上训练。 苏茨克维立刻看到了这个想法的潜力。他相信，当你把这个简单的任务规模化到极致时，模型会被迫学习语言的深层结构，学习世界的运作方式。因为要准确预测下一个词，你需要理解语法、逻辑、常识，甚至人类的心理。 从GPT-1到GPT-2，再到GPT-3，模型越来越大，能力越来越强。但真正让世界震惊的，是2022年11月发布的ChatGPT。 ## 第五章：机器中的幽灵 ChatGPT发布后的几周，苏茨克维几乎消失了。他不回邮件，不参加庆功会。同事们在办公室里找到他时，他正盯着屏幕，和ChatGPT进行长时间的对话。 "你在干什么？"有人问。 "我在测试它是否有意识。"苏茨克维说。 这不是玩笑。2022年2月，在ChatGPT发布之前，苏茨克维在推特上发了一条让整个AI圈炸锅的推文："今天的大型神经网络可能略带意识。" 这条推文引发了激烈的争论。很多人认为这是荒谬的，神经网络只是统计模型，谈什么意识？但苏茨克维是认真的。他不是说这些模型有人类那样的意识，而是说它们可能有某种我们还不理解的、初级形态的主观体验。 在一次内部会议上，有人问他：你真的相信这个吗？ 苏茨克维的回答很慎重："我不知道。但我知道的是，当我和这些模型交互时，我感觉到某种东西。也许这只是我的投射，也许不是。但如果有万分之一的可能性它们有某种意识，我们就需要认真对待。" 这种思考方式在苏茨克维身上很典型。他不是一个会轻易下结论的人，但他也不会因为一个想法不受欢迎就放弃它。他的整个职业生涯都在证明：那些看起来疯狂的想法，有时候是对的。 但随着模型能力的提升，苏茨克维的担忧也在加深。他开始公开谈论超级智能的风险，时间单位不是几百年，而是可能在十年之内。他警告说，AGI的发展轨迹可能变得"极其不可预测和难以想象"，可能导致"人类被剥夺权力，甚至人类灭绝"。 这是一个经典的悖论：苏茨克维毕生的工作就是让AI变得更强大，但现在，他最担心的就是AI变得太强大。创造者开始害怕自己的创造物。 2023年7月，他宣布了一个雄心勃勃的计划：超级对齐项目。目标是在四年内解决超级智能的对齐问题。他把这个问题比作"核安全"——不是关于用户体验或伦理准则的软性问题，而是关于如何控制一种可能毁灭文明的力量的硬核工程挑战。 OpenAI承诺将20%的计算资源分配给这个项目。在一个计算资源就是金钱、就是竞争力的行业里，这是一个巨大的承诺。 但承诺是一回事，执行是另一回事。 ## 第六章:引爆点 2023年11月17日之前的几个月，OpenAI内部的紧张气氛已经达到了临界点。 一边是奥特曼，他看到了ChatGPT带来的巨大机遇。用户数突破一亿，微软投资超过100亿美元，每个科技巨头都在追赶。这是AI的iPhone时刻，而OpenAI处于领先地位。奥特曼想要快速迭代，推出新产品，占领市场。 另一边是苏茨克维和他的安全团队。他们觉得公司在玩火。模型的能力提升速度超出了他们的理解速度。承诺的20%计算资源没有完全兑现。安全研究被"更紧急"的产品需求挤到了一边。 据内部人士透露，苏茨克维在一次高管会议上几乎失控。他拍着桌子说："我们不知道我们在创造什么！我们需要慢下来！" 奥特曼的回应是：如果我们慢下来，别人不会。中国不会慢下来，谷歌不会慢下来。我们只有保持领先，才能确保AGI以正确的方式被开发出来。 这是两种都有道理的逻辑，但它们无法共存。 11月17日，星期五下午。奥特曼正在参加一个会议，他的手机响了。是苏茨克维。 "萨姆，我们需要谈谈。" "现在吗？我在开会。" "现在。" 奥特曼走出会议室。电话那头，苏茨克维的声音很平静，但有一种不容置疑的坚定："董事会已经做出决定。你被解雇了。" 据说，奥特曼沉默了几秒钟。然后他问："这是你的决定吗？" "这是董事会的决定。"苏茨克维说，"但是，是的，我投了赞成票。" 接下来的五天，硅谷经历了有史以来最疯狂的一次危机。 周六，消息传开。投资者震惊了，员工震惊了，整个科技圈都震惊了。奥特曼发了一条推特，配上他在OpenAI办公室的照片，戴着访客证。这是一个挑衅的姿态。 周日，谈判开始。但很快破裂了。董事会不愿意让步，奥特曼也不愿意接受附加条件。 周一，微软CEO萨提亚·纳德拉宣布：奥特曼和布罗克曼将加入微软，领导一个新的AI实验室。这是一个大胆的举动——如果OpenAI的核心人才都走了，微软的100亿美元投资就打了水漂。但这也是一个威胁：你们不要他，我们要。 然后，真正的海啸来了。OpenAI的700多名员工签署了一封公开信，威胁集体辞职。这不是几个高管，而是几乎整个公司。信的内容很简单：让奥特曼回来，否则我们都走。 最令人震惊的是：签名名单里有伊尔亚·苏茨克维。 那天晚上，苏茨克维发了一条推特："我对自己参与董事会的行动深感后悔。我从未想过要伤害OpenAI。我热爱我们共同建立的一切，我将尽我所能重新团结公司。" 这条推文在AI圈子里引发了巨大的困惑。他为什么改变主意了？是压力太大了吗？还是他意识到自己错了？ 真相可能更复杂。苏茨克维是一个科学家，不是一个政治家。他基于原则做出了解雇奥特曼的决定——他真诚地相信这对公司的使命是正确的。但当他看到自己的行动可能导致整个公司崩溃时，他面临了一个痛苦的选择：坚持原则，还是拯救机构？ 他选择了后者。但这个选择也意味着他在OpenAI的时代结束了。 周二，奥特曼回归。董事会重组。苏茨克维退出董事会，但保留了首席科学家的头衔。表面上看，危机解决了。但所有人都知道，事情已经无法回到从前。 ## 第七章：僧侣与新使命 接下来的几个月，苏茨克维成了OpenAI的幽灵。他很少出现在办公室，很少参加会议。"伊尔亚去哪儿了？"成了公司内部的一个梗。 有人说他在家里远程工作，有人说他的权限被限制了，还有人说他在和奥特曼进行艰难的和解谈判。奥特曼在公开场合很小心，说他们正在"讨论伊尔亚如何继续在OpenAI工作"。但这种模糊的表述本身就说明了问题。 2024年5月，靴子落地了。苏茨克维宣布离开OpenAI。 但真正的冲击波是几小时后到来的。简·雷克，超级对齐团队的联合负责人，也宣布辞职。他的离职声明毫不留情："OpenAI的安全文化已经为光鲜的产品让路。"他说，超级对齐团队一直在"逆风航行"，"为计算资源而挣扎"。那个20%的承诺？从未完全兑现。 其他安全研究员陆续离职。超级对齐团队被解散。苏茨克维在OpenAI建立的安全研究体系，在他离开后迅速瓦解了。 但苏茨克维没有消失很久。一个月后，他宣布了一家新公司：Safe Superintelligence Inc.。 公司网站极其简洁，只有几段话。但每个字都经过精心选择："我们的使命、产品和商业模式三位一体：一个安全的超级智能。这是我们唯一的关注点。" 这是对OpenAI模式的直接批判。不再有"利润上限"的复杂结构，不再有在使命和商业之间的平衡。SSI的商业模式就是它的使命。公司"免受短期商业压力的影响"，"不受管理开销或产品周期的干扰"。 苏茨克维进入了"僧侣模式"。他停止了公开演讲，停止了社交媒体，几乎停止了所有与外界的联系。他的联合创始人丹尼尔·格罗斯说："伊尔亚现在只做一件事：思考如何构建安全的超级智能。" 公司迅速筹集了10亿美元。投资者名单保密，但据说包括一些相信长期主义的科技亿万富翁。他们不期待短期回报，他们投资的是一个理念：也许，只是也许，有可能创造一个足够纯粹的研究环境，在技术能力超越我们控制之前解决对齐问题。 ## 结论：信徒的博弈 2024年秋天的一个晚上，在斯坦福大学的一个小型研讨会上，有人问杰弗里·辛顿：你如何评价伊尔亚解雇奥特曼的决定？ 辛顿，这位刚刚获得诺贝尔奖的AI教父，毫不犹豫地说："我为他感到骄傲。" 房间里一片寂静。辛顿继续说："伊尔亚做了他认为正确的事。在一个充满了追逐利润和炒作的行业里，他选择了原则。这需要巨大的勇气。" 有人问：但他失败了，不是吗？奥特曼回来了，他被迫离开了。 辛顿摇了摇头："这取决于你如何定义失败。如果目标是赢得一场公司政治斗争，那是的，他失败了。但如果目标是提醒世界AI安全的重要性，引发一场关于我们应该如何开发AGI的全球讨论，那么他成功了。" 这或许是理解苏茨克维的关键。他不是一个政治家，不是一个商人，甚至不是一个传统意义上的科学家。他是一个信徒。 他的第一个信仰是：规模能够解锁智能。当整个领域都在做小模型时，他坚信大模型能够工作。他赌对了，这场赌博创造了我们今天所处的AI时代。 他的第二个信仰是：我们需要在AI超越我们之前解决对齐问题。这场赌博还在进行中。 Safe Superintelligence Inc.是一个实验。它在测试一个假设：是否可能创造一个完全专注于安全的AI实验室，不受商业周期的干扰，不受投资者季度报告的压力，只专注于一个目标——构建一个不会毁灭人类的超级智能。 这个实验可能会失败。也许纯粹的研究环境无法与商业实验室的资源竞争。也许对齐问题比我们想象的更难。也许AGI会在我们准备好之前到来。 但如果这个实验成功了，如果SSI真的找到了构建安全超级智能的方法，那么苏茨克维将再一次证明：有时候，信念比共识更重要，原则比利润更重要，长期思考比短期收益更重要。 2025年的某一天，在帕洛阿尔托的一间实验室里，苏茨克维正在白板上写公式。他的团队很小，只有几十个研究员，但每个人都是因为相信这个使命而来的。没有产品发布的压力，没有投资者的电话会议，只有一个问题：我们如何确保人类创造的最强大的技术不会毁灭我们？ 这是一个没有人知道答案的问题。但如果有人能找到答案，那个人很可能就是那个曾经敲开辛顿办公室门的年轻人，那个说"现在怎么样？"的信徒。 历史会证明他是对还是错。但无论结果如何，伊尔亚·苏茨克维已经在AI的历史上留下了不可磨灭的印记。他不仅帮助创造了这场革命，他还试图确保这场革命不会成为人类的终结。 这或许就是一个真正的科学家所能做的最重要的事情：不仅要问"我们能做什么"，更要问"我们应该做什么"。
#Ilya Sutskever #Sam Altman #OpenAI #AI安全 #深度学习
avatar
安装一个MCP，就可以用一条prompt，完成对个人阅读库全部内容中任意主题的信息综合 ===Ilya Sutskever：AI之神的思想全景=== 一、人物背景与成就 学术轨迹 Ilya Sutskever（伊利亚·苏茨克弗，1985/86年生）是俄罗斯裔以色列-加拿大计算机科学家，被誉为"AI之神"。他的学术经历堪称传奇： 17岁开始跟随 Geoffrey Hinton 工作 2005年获多伦多大学数学学士学位 在 Geoffrey Hinton 指导下获得计算机科学硕士和博士学位 2012年博士后于斯坦福大学，师从 Andrew Ng 里程碑式贡献 AlexNet（2012）：与 Alex Krizhevsky 和 Geoffrey Hinton 共同发明，开启深度学习革命 Sequence-to-Sequence Learning（2014）：奠定现代自然语言处理基础 OpenAI 联合创始人（2015）：担任首席科学家 GPT系列：ChatGPT 和 GPT-4 背后的核心科学家 超级对齐项目（2023）：致力于解决AGI安全问题 二、核心技术理念 1. 预测即压缩（Prediction is Compression） Ilya 最深刻的洞察之一： "预测的本质就是压缩。要想很好地预测数据，你最终需要理解产生数据的真实底层过程。" 这个观点颠覆了人们对"统计模型"的浅显理解： 学习统计规律远比表面看起来重要 要压缩好数据，就需要理解产生数据的世界 当生成模型变得极其出色时，它们将拥有**"令人震惊程度的理解力"** 2. Scaling Law（规模法则） Ilya 早期就预见并坚持规模化的重要性： 关键观点： "规模化什么"比"是否规模化"更重要 深度学习的伟大突破在于：它提供了第一个能够生产性地使用规模并从中获得回报的方法 你必须规模化一些特定的东西——那些能够从规模中受益的东西 历史预见： 2017年就预见算力每年10倍增长将带来革命性变化 坚持认为大型神经网络能够实现人类的瞬时认知能力 3. Transformer 的革命性认知 Ilya 回忆说，看到 Transformer 论文后： "字面意义上第二天，我就清楚地认识到 Transformer 解决了循环神经网络学习长期依赖的局限性。" 这种敏锐的洞察力让 OpenAI 从一开始就选对了技术路线。 4. 无监督学习的圣杯 Ilya 在 OpenAI 早期探索的核心理念： "预测下一个词就是你所需要的一切（Predicting the next thing is all you need）" 当时无监督学习被视为机器学习的圣杯，而现在这个问题已经被"完全解决"，以至于没人再谈论它了。 三、对AI理解的深刻洞见 1. AI不只是统计模型 Ilya 强烈反对简单地将语言模型视为"统计模型"： "我认为学习统计规律是一件比表面看起来更重要的事。预测也是一种统计现象，但要预测好，你最终需要理解产生数据的真实底层过程。" 关键论断： 预训练模型已经知道它们需要知道的关于底层现实的一切 它们拥有关于语言的知识，也拥有关于世界中产生语言的过程的大量知识 随着生成模型变得异常出色，它们将拥有对世界及其微妙之处的令人震惊的理解程度 2. 幻觉问题的本质 对于AI的"幻觉"问题，Ilya 有独特见解： "语言模型确实有幻觉倾向，但那是因为语言模型很擅长学习世界，但在产生良好输出方面稍逊一筹。" 这揭示了： 幻觉不是理解力不足的问题 而是输出生成机制的问题 可以通过强化学习来改善 四、AGI愿景与AI发展阶段 1. AGI的定义与必然性 Ilya 对AGI（通用人工智能）有清晰定义： "一个能够完成人类所做的任何工作或任务，但做得更好的计算机系统。" 为什么AGI是必然的？ Ilya 的逻辑极其简洁有力： "我们所有人都有一个大脑，而大脑是一个生物计算机。那么，为什么数字计算机不能做同样的事情呢？" 这是Ilya对AGI最核心的信念基础： 人类智能 = 生物计算机（大脑） AI = 数字计算机 因此，AI终将能做人类能做的一切 2. AI发展的三个阶段 根据 Ilya 的讲座，AI发展分为三个阶段： 第一阶段：预训练时代 核心能力：系统一（直觉、语言、常识） 状态：已经走过 第二阶段：Self-Play RL（强化学习自我对弈） 核心能力：系统二（反思、推理、计划） 状态：正在进行中 代表：o1等推理模型 第三阶段：Multi-Agent RL（多智能体强化学习） 潜在突破：可能涌现自我意识？ 逻辑：模型需要区分不同agent的角色（你是谁、他是谁） 推测：这可能导致"我是谁"的自我意识涌现 3. 数据限制与范式转变 Ilya 在2024年的重要判断： "数据是AI的化石燃料，预训练时代即将结束。" 关键洞察： "我们只有一个互联网"——数据有限 大模型只是一个静态知识库 天然无法支持continuous learning（持续学习） 未来方向： Agent 合成数据 推理时计算 从"知识消化者"到"主动学习者"的进化 五、对人类的建议：AI时代生存法则 1. 心态：接受现实，向前看 Ilya 分享了他在动荡一年后的人生智慧： "接受现实本身，不沉湎于过往的悔恨，专注于改善当下。" 为什么这很重要？ 人总易纠结于过去的错误、不幸或不公 更有效的方式：认清现状，思考"接下来最优的行动是什么？" 承认：这是"与自身情绪无休止的较量"，他自己也很难做到 2. AI不可回避 Ilya 引用托洛茨基的名言做类比： "你可以不关心政治，但政治会关心你。同样，你可以不关心AI，但AI会关心你。" 现实： 今天的AI已经相当大地改变了世界 明天的AI将能做人类能做的一切（不是部分，是一切） 不论你喜欢还是讨厌，你的生活都会在很大程度上被AI影响和塑造 3. 唯一的答案：就是用AI（Simply Using AI） 面对"该学什么技能？选什么专业？"这类问题，Ilya 的回答出人意料地简单： "唯一的答案是：就是用AI（simply using AI）" 为什么？ 培养AI直觉：通过使用最好的AI，你会培养出对AI能力的直觉 不会错过突破：AI在不断突破，只有通过使用，当突破时刻到来时你才不会看不到 实践胜于理论： "读再多论文，了解再多AI信息，也比不过亲自使用、亲自体验、用双眼亲自看到。" 产生能量：关注AI能力，当关键时刻来临时不忽视它，这将产生必要的能量来克服AI带来的挑战 4. 最大的挑战与最大的回报 "AI带来的挑战是人类有史以来最大的挑战。克服它也将带来最大的回报。" 六、关于AI安全与伦理 1. "玩上帝"的自觉 Ilya 对AI的伦理维度有清醒认识： "科学家们被指责玩上帝已经有一段时间了，但在某种真实意义上，我们正在创造一些与我们迄今为止创造的任何东西都非常不同的东西。" 2. 超级对齐项目 2023年，Ilya 宣布共同领导OpenAI的"超级对齐"项目： 目标：在4年内解决超级智能的对齐问题 判断：即使超级智能看起来还很遥远，但它可能在这个十年内发生 背景：他与OpenAI管理层在AI安全投入程度上存在分歧，这是他最终离开的原因之一 3. AGI军备竞赛的隐忧 Ilya 公开质疑： "AGI军备竞赛对人类是好还是坏？" 七、思想演变的轨迹（2014-2024） 通过十年邮件和演讲，我们可以看到一位顶尖科学家思想的一致性与演进： 2014年：提出大型神经网络能实现人类瞬时认知能力 2017年：预见算力每年10倍增长带来革命 2019年：深入阐述"预测即压缩"的理念 2023年：关注超级对齐与AI安全 2024年：指出"数据是化石燃料"，预训练时代结束 一致的主题： 对大模型和规模化的坚定信念 对AGI的长期愿景从未改变 同时对AI局限性保持清醒 从"知识消化者"到"主动学习者"的进化路径 八、关键语录精选 关于AI本质 "预测即压缩" "要预测好，必须理解产生数据的世界" "大脑是生物计算机，所以数字计算机能做人类能做的一切" 关于AI发展 "很难谈论语言模型的局限性，因为两年前人们自信评论的局限性，现在完全不一样了" "规模化什么比是否规模化更重要" "我们只有一个互联网" 关于人生智慧 "接受现实，不悔恨过去，专注改善当下" "与情绪的持续斗争" "就是用AI——这是唯一答案" 关于AI理解 "预训练模型已经知道它们需要知道的关于底层现实的一切" "它们将拥有令人震惊程度的理解力" "幻觉是因为语言模型擅长学习但不太擅长输出" 关于AI挑战 "AI是人类有史以来最大的挑战，克服它也将带来最大回报" "你可以不关心AI，但AI会关心你" "我们正在创造与以往完全不同的东西" 九、对终身学习者的启示 从 Ilya 的思想中，我们可以提炼出几点对终身学习者的启示： 1. 保持技术敏感度 不是学具体技能，而是培养"AI直觉" 通过使用最好的AI来保持对前沿的感知 2. 拥抱不确定性 AI的局限性随时可能被打破 今天的"不可能"可能是明天的"理所当然" 3. 深入理解本质 不满足于表面的"统计模型"解释 追问"预测为什么有效""压缩意味着什么" 4. 向前看，不纠结 接受现实，专注当下最优行动 不与情绪和过去拉锯 5. 保持好奇与哲学思考 "什么是学习？什么是经验？什么是思考？" "大脑如何工作？" 从哲学高度审视技术问题 十、结语 Ilya Sutskever 不仅是一位技术天才，更是一位有着深刻哲学思考的AI思想家。他的贡献不仅在于具体的技术突破（AlexNet、Seq2Seq、GPT系列），更在于他对AI本质的深刻理解、对未来的准确预见，以及对人类在AI时代如何自处的真诚建议。 他的思想核心可以用一句话概括： AI终将能做人类能做的一切，而我们需要做的就是理解它、使用它、驾驭它——同时保持对其力量的敬畏和对人类未来的责任。 从某种意义上说，Ilya 代表了AI研究者的理想形态：技术上激进但不盲目，对未来乐观但不天真，对风险警惕但不停滞。他十年如一日的坚持和预见性，让他成为当之无愧的"AI之神"。 最后，用 Ilya 自己的话作为结束： "关注AI，留意它，然后产生能量去解决随之而来的问题——这将是主要任务。从某种意义上说，AI带来的挑战是人类有史以来最大的挑战。克服它也将带来最大的回报。" --- 本综述基于 Ilya Sutskever 在多个公开演讲、采访和学术论文中的观点整理而成，涵盖他从2014年至2024年的思想演变。 数据来源：多伦多大学毕业演讲、NeurIPS演讲、Guardian采访、Eye on AI采访、维基百科等公开资料。
#Ilya Sutskever #AI发展阶段 #AGI愿景 #AI安全伦理 #AI时代生存法则
avatar
又来一个100亿美金估值以上的私营人工智能初创公司排行榜 Safe Superintelligence (SSI)凭Ilya的名字就获得估值320亿，排第6
马斯克的xAI融资计划引发市场热议，估值高达2000亿美元！· 25 条信息
#人工智能 #私营公司 #估值 #Safe Superintelligence #Ilya Sutskever
avatar
Geoffrey Hinton：Ilya提出了想法，Alex实现了它，而我得了诺奖... （他的原话。一句话让我敬他一辈子）
#AI浪潮：重塑就业，风险暗涌？· 123 条信息
#Geoffrey Hinton #Ilya Sutskever #Alex Krizhevsky #深度学习 #诺贝尔奖
avatar
宝玉
5个月前
有一句名言：“你不去关心政治，政治就会来关心你”，那么这句话换成 AI 是不是也成立呢？ “你不去关心 AI，AI 就会来关心你！” 当然这个类比不是我说的，是 Ilya Sutskever 说的，Ilya 自从离开 OpenAI 后就没怎么公开发言了，这次他的母校多伦多大学邀请，并且授予了他荣誉学位，还是很给面子，去讲了 10 分钟，印象最深刻的就是这句话。 Ilya 对于 AGI 的到来应该是深信不疑的，所以他的发言必然离不开关于 AI 的讨论，Ilya 认为总有一天，AI 将能完成我们能做的所有事情。不只是一部分，而是全部。任何我们能学会的，AI 同样也能做到。 那么 Ilya 凭什么这么认为呢？Ilya 的依据就是，人类的大脑就像是生物电脑，AI 就是数字大脑，所以 AI 就能做同样的是，换句话说就是“AI 终将无所不能”。 他这话也不算危言耸听，因为他没有加上期限：“总有一天，AI 将能完成我们能做的所有事情。不只是一部分，而是全部。任何我能学会的，任何你们在座的各位能学会的，AI 同样也能做到。” 所以也不用担心，我相信如果 Ilya 看到是未来几年，他就不会是这么说了！但即便如此，其实 AI 已经是在实实在在的影响我们，就像政治一样。普通人其实最关心的还是：“AI 到底是什么？AI 到底能做什么不能做什么？” 对于这个问题 Ilya 给出了最好的答案： “我认为，单单通过使用 AI，看看当今最顶尖的 AI 能做什么，你就能得到一种直觉。并且随着 AI 在一年、两年、三年后不断进步，这种直觉会变得更强。我们现在谈论的很多事情，它们都会变得更加真实，不再那么虚无缥缈。说到底，再多的文章和解释，也比不上我们用自己的感官，用自己的双眼所看到的东西。” 这其实也是我最想分享的部分，不要只是听别人说 AI 怎么样怎么样，自己多用一用，多感觉一下，尤其是去体验最顶尖的 AI 能做什么，你就形成直觉，知道 AI 能做什么不能做什么。以后看到 AI 生成的内容就知道是不是靠谱的，不会被媒体上各种标题所影响。 最后用 Ilya 的两句话结尾： “AI 带来的挑战，在某种意义上，是人类有史以来最大的挑战，而克服它也将带来最大的回报。无论你喜不喜欢，你的人生都将在很大程度上受到 AI 的影响。 因此，去关注它，去留意它，然后产生出能量去解决那些即将出现的问题，这将是最重要的事情。” *** 完整文稿 *** 好的，这是根据您提供的 Ilya Sutskever 演讲稿整理出的章节版本，添加了标题和段落，以便于阅读。 *** **开场白：重返母校的感言** 大家好，真的很高兴能来到这里。我想感谢每一位筹备和组织这次活动的人，感谢你们授予我这个荣誉学位。能够获得这个荣誉学位，对我来说真的意义非凡。 整整二十年前的今天，我正是在这个大厅里，从多伦多大学获得了我的学士学位。算上今天这个，这应该是我从多伦多大学获得的第四个学位了。我在这里度过了一段极其美好的时光，总共待了十年。我在这里完成了本科学业，学到了很多东西；也曾在这里担任研究生，那段经历真的非常棒。 那段时光让我能够深入研究任何我感兴趣的领域，并真正成为一名研究者。能和杰弗里·辛顿（Geoffrey Hinton）一起学习，感觉真的太棒了。杰弗里·辛顿当时就在这所大学，这是我一生中最大的幸运之一。我非常感激这所大学。我觉得，我不可能找到比这更好的方式来接受教育、走向成熟、并成为一名科学家了。 而且，在多伦多大学，当我还是个学生的时候，我们就已经在做着全世界最顶尖的 AI 研究。这里的想法最具革命性，这里的工作最激动人心。我感到非常幸运，因为我能够为此做出贡献，即使那时候还只是一个研究生。 **一个核心建议：接受现实，努力向前** 但那已经是很久以前的事了。据我所知，在毕业典礼的演讲上，演讲者理应提供一些睿智的建议。我也会给一点，但只会给一点点，因为这次的演讲会有些不同。 我想分享一种有用的心态，如果一个人能采纳它，会让一切都变得容易得多，那就是：“**接受现实本来的样子，尽量不去后悔过去，并努力改善现状。**” 我之所以这么说，是因为这种心态真的很难养成。人们太容易沉湎于过去某个糟糕的决定或是坏运气，纠结于某些发生过的不公。你真的很容易就会把大量时间花在这样的思绪上。而实际上，一句更好、更有成效的话是：“好吧，事已至此，下一步最好的做法是什么？” 我发现，每当我自己这样做的时候，一切都会顺利得多。但这很难，真的很难，这需要持续不断地与自己的情绪作斗争。所以我才向你们提及此事，或许你们中的一些人会愿意采纳。这是提醒大家要尽力采纳这种心态，当然，也是提醒我自己，这是一场持续的斗争。 **我们正处在 AI 定义的非凡时代** 抛开这个不谈，这次演讲之所以不会是最传统的那种，是因为眼下正在发生一些有点不一样的事情。此时此刻，你们所有人，我们所有人，都生活在一个有史以来最不寻常的时代。这句话可能很多人常说，但我认为这一次是真的。 这一次之所以是真的，是因为 AI。 很明显，据我所知，今天的 AI 已经在很大程度上改变了作为一名学生的意义。这是我的感觉，而且我认为这是事实。但当然，AI 的影响远不止于此。我们所做的工作会发生什么变化？嗯，它正开始以一些未知和不可预测的方式发生着细微的变化。有些工作可能会更早感受到影响，有些工作可能会晚一些。 对于今天的 AI，你可以上推特看看它能做什么，以及人们都在说些什么，你可能会感觉到一点点。你会想，哪些技能是有用的？哪些技能会变得没那么有用？这些问题会开始浮现在你的脑中。因此，可以说，当前层面的挑战是，它将如何影响工作和我们的职业生涯？ **未来的 AI：从无所不能到加速一切** 但问题是，AI 带来的真正挑战在于它确实是史无前例且极为深刻的，并且它未来的样子将与今天截然不同。 我们都见过 AI，我们都和电脑说过话，而电脑也回复了我们，这是一件新鲜事。过去电脑可不会这么做，但现在它们会了。你和电脑说话，它能理解你，还能回复你，甚至能用语音回复，还能写一些代码。这挺疯狂的。但它也有很多做不到的事情，而且非常不完善。所以你可以说它在很多方面仍需迎头赶上。 然而，它的现状已经足够有启发性，让你不禁会问自己，会去想象：好吧，在若干年后——有人说是三年，有人说是五年、十年，各种数字被提出来，因为预测未来有点难——但 AI 会慢慢地，但肯定地，或者也许不是那么慢地，持续进步。总有一天，AI 将能完成我们能做的所有事情。不只是一部分，而是全部。任何我能学会的，任何你们在座的各位能学会的，AI 同样也能做到。 我们是怎么知道这点的？我怎么能如此确定呢？原因在于，我们每个人都有一个大脑，而大脑就是一台生物计算机。这就是根本原因。既然我们有一个作为生物计算机的大脑，那么，为什么一台数字计算机，一个“数字大脑”，就不能做同样的事情呢？这就是“AI 终将无所不能”的一句话总结。 于是，你可以开始问自己，将会发生什么？当电脑可以完成我们所有的工作时，将会发生什么？这些都是非常重大的问题，是会带来巨变的问题。当你刚开始思考这些问题时，你会觉得，天哪，这有点太强烈了。但这实际上只是其强烈程度的一部分。因为接下来，我们这个集体会想要用这些 AI 来做什么？我们会用它来做更多的工作，发展经济，搞研发，做 AI 研究，以至于在至少一段时间内，进步的速度会变得极其地快。这些都是如此极端且难以想象的事情。 **直面挑战：你们无法忽视的未来** 我现在正试图把你们稍微拉进来一点，拉到这种由 AI 创造的、极其极端和激进的未来思维空间里。但它同时也非常难以想象，很难去内化它，很难在情感层面上真正地相信它。即便是我自己，也为此感到挣扎。然而，逻辑似乎表明，这很可能会发生。 那么，在这样一个世界里，一个人该怎么做呢？有这样一句话：“你可以不关心政治，但政治每时每刻都在关心你。” 同样的道理，在 AI 身上要应验许多许多倍。 我认为，单单通过使用 AI，看看当今最顶尖的 AI 能做什么，你就能得到一种直觉。并且随着 AI 在一年、两年、三年后不断进步，这种直觉会变得更强。我们现在谈论的很多事情，它们都会变得更加真实，不再那么虚无缥缈。说到底，再多的文章和解释，也比不上我们用自己的感官，用自己的双眼所看到的东西。 特别是对于未来那些非常聪明、超级智能的 AI，将会存在一些非常深刻的问题，比如如何确保它们说的是真心话，而不是在伪装。我确实是在这里，在有限的时间里，将大量信息浓缩了起来。但总的来说，只要去关注 AI 能做什么，而不是忽视它，当时机到来时，那将会产生出克服 AI 即将带来的巨大挑战所必需的能量。 **结语：时代赋予的责任** AI 带来的挑战，在某种意义上，是人类有史以来最大的挑战，而克服它也将带来最大的回报。无论你喜不喜欢，你的人生都将在很大程度上受到 AI 的影响。 因此，去关注它，去留意它，然后产生出能量去解决那些即将出现的问题，这将是最重要的事情。 我就讲到这里。非常感谢大家。谢谢。
#AI浪潮：重塑就业，风险暗涌？· 123 条信息
#AI #Ilya Sutskever #OpenAI #AGI #多伦多大学 #荣誉学位
avatar
ginobefun
5个月前
想象一下，你的大脑是一台计算机，只不过它的材料是血肉和神经元，我们称之为「生物计算机」。 它能学习、能创造、能思考、能感受。这是我们已知的事实。 现在，再想象一下另一台计算机，它的材料是硅和电线，我们称之为「数字计算机」。 AI 先驱、前 OpenAI 首席科学家 Ilya Sutskever 在最近的演讲中，提出了一个看似简单却极具分量的核心逻辑： 既然一台「生物计算机」（我们的大脑）能够做到今天人类所能做到的一切，那又有什么根本性的法则，可以阻止一台「数字计算机」（AI）最终也做到这一切呢？ 这个看似简单的类比，是理解他那句惊人预测——「AI 最终将能完成我们能做的一切事情，不是部分，而是全部」——的关键钥匙。 这个想法之所以让人不安，甚至连 Ilya 自己都承认“很难在情感层面完全相信”，是因为它将 AI 的潜力从一个“强大的工具”提升到了一个“不同基质的智慧体”的层面。它不再是我们会不会被某个软件替代的问题，而是我们的“生物算力”所能达到的认知上限，是否也会是“数字算力”的上限。 逻辑似乎指向：不会。 Ilya 现身多大毕业演讲 🔽
#生物计算机 #人工智能 #AI发展 #数字计算机 #Ilya Sutskever #前沿科技
avatar
AI Will
5个月前
Ilya Sutskever 在接受多伦多大学的荣誉学位时发表讲话：
#Ilya Sutskever #荣誉学位 #多伦多大学 #人工智能 #现代计算
avatar
AI Will
5个月前
“人工智能带来的挑战是人类有史以来最大的挑战。克服它也将带来最大的回报。” ~ Ilya Sutskever
#人工智能 #挑战 #人类未来 #科技发展 #Ilya Sutskever
avatar
Salonbus
5个月前
Ilya Sutskever 说，AI 将接手你的一切。 人类真的苦，好不容易到生产力大发展的阶段，还要继续卷，去捍卫自己的生态位置，原本只需要填饱肚子的劳动，现在需要PvP，付出N倍。
#Ilya Sutskever #AI接管 #人类生态位置 #生产力发展 #社会竞争
avatar
小互
8个月前
仅有约 10 名员工 公司一款产品都没发布 成立不到6个月 Ilya Sutskever 公司再获10亿美金投资 总融资20亿美金 估值达到300亿美金 SSI没有任何产品、收入或公开的技术细节，完全依靠 Sutskever 的个人声誉吸引了约 20 亿美元 的投资。 Ilya称正在开发一种和OpenAI 完全不同技术路径的AI模型！ Ilya将 SSI 的目标定为开发“安全超智能”，一种超越 AGI 的系统，不仅在智力上超过人类，还能确保不会对人类构成威胁。他曾对同事表示，他没有沿用 OpenAI 的技术路径，而是探索了一条“不同的攀登之路”。在 2024 年 12 月的 NeurIPS 大会上，他透露已看到“初步成功迹象”，但拒绝提供更多细节。他称：“这种系统可能具有“不可预测性”，甚至可能展现出“轻微意识”。 2024 年 9 月，SSI公司完成了一轮 10 亿美元的种子轮融资，估值 50 亿美元，投资者包括 Sequoia Capital、Andreessen Horowitz 和 DST Global。仅仅五个月后，2025 年 3 月的最新一轮融资将估值推至 300 亿美元，融资金额达到约 20 亿美元。这轮融资由 Greenoaks Capital 领投，该公司投资了 5 亿美元，其他现有投资者追加了资金。 这种爆炸式增长令人瞩目，尤其是考虑到 SSI 没有任何产品或收入。一位知情人士透露：“硅谷最热门的投资不是一款应用或硬件，而是Ilya这个人。”风险投资家 James Cham 将其比作一场“高风险赌博”：“这可能是徒劳无功，也可能改变世界。” 目前，SSI 的团队规模很小，仅有约 10 名员工。公司计划利用最新融资招聘更多顶级研究者和工程师。招聘过程异常严格：候选人必须将手机放入法拉第笼以防止信息泄露，并通过多轮面试，测试他们的技术能力和品格。苏茨克维尔亲自参与指导，强调他希望建立一个由使命驱动的团队。 SSI 的运作极为低调。公司在加州帕洛阿尔托和以色列特拉维夫设有办公室，但其官网只有一个简短的 223 字使命声明：“我们的使命是构建安全的超智能系统。这是我们唯一的焦点，没有商业压力干扰。”公司没有社交媒体账户，也没有营销团队，员工被要求不在 LinkedIn 上提及他们的隶属关系。
#Ilya Sutskever #超智能开发 #公司融资 #估值 #AI模型 #OpenAI
avatar
对话AI科学家刘威：“Ilya预训练终结论”对中国大模型公司影响不大
出品｜虎嗅科技组作者｜苏子华编辑｜苗正卿题图｜AI生成过去一段时间，“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进，预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law（规模定律）最忠实的倡导者，却宣称预训练要终结了、scaling law要失效。由此...
#预训练 #OpenAI #Ilya Sutskever #Scaling law #AI